หลวงปู่สรวงแต่เดิมเป็นชาวกัมพูชาและได้เดินทางมาอยู่บริเวณอำเภอขุนหาญและอำเภอขุขันธ์ แถบชายแดนตามเชิงเขาพนมดังรัก (พนมดองเร็ก) ซึ่งเป็นเขตกั้นกลางระหว่างประเทศกัมพูชา ท่านเป็นผู้ทรงศีลปฏิบัติธรรมอยู่เสมอ และได้พักอาศัยอยู่ตามกระท่อมในไร่นาของชาวบ้านโคก และเวียนไปในที่ต่างๆ นานๆ ก็จะกลับมาให้เห็น ณ ที่เดิมอีก ในสายตาและความเข้าใจของชาวบ้านในสมัยนั้นมองท่านว่าเป็นผู้มีคุณวิเศษแตกต่างจากบุคคลทั่วไป และเรียกขานท่านว่า “ลูกเอ็อวเบ๊าะ” หรือ “ลูกตาเบ๊าะ” (เป็นภาษาเขมร หมายถึงพระดาบสที่เป็นผู้รักษาศีลอยู่ตามถ้ำตามป่าเขา) ในสมัยนั้น มีป่าเขาอุดมสมบูรณ์เต็มไปด้วยป่าไม้และสัตว์ป่านานาพันธุ์ มีลูกศิษย์ติดตามหลวงปู่เดินธุดงค์ตามป่าเขาแถบชายแดนไทย ตลอดจนถึงประเทศเขมร แต่ก็อยู่กับหลวงปู่ได้ไม่นานจำต้องกลับบ้าน เนื่องจากทนความยากลำบากไม่ไหว หลวงปู่จึงเดินธุดงค์ไปในที่ต่างๆโดยลำพัง ทำให้ไม่มีใครทราบถิ่นกำเนิดและอายุของหลวงปู่ที่แท้จริง รู้เพียงแต่ว่าหลวงปู่เป็นชาวเขมรต่ำ ได้เข้าอาศัยในประเทศไทยนานแล้ว คนแก่คนเฒ่าผู้สูงอายุที่เคยเห็นท่านต่างพูดว่า พอจำความได้ก็เห็นท่านอยู่ในลักษณะเหมือนที่เห็นในปัจจุบันนี้ ผิดไปจากเดิมบ้างเล็กน้อยเท่านั้น อีกทั้งหลวงปู่เป็นคนพูดน้อยและไม่เคยเล่าประวัติส่วนตัวให้ใครฟัง จึงไม่มีใครทราบประวัติและอายุที่แท้จริงของท่านได้ ชาวบ้านแถบนี้เห็นหลวงปู่บ่อยๆ ที่ป่าบ้านตะเคียนราม วัดตะเคียนราม (อำเภอภูสิงห์) แถวบ้านลุมพุก ตำบลกันทรารมย์ อำเภอขุขันธ์ และตามหมู่บ้านอื่นๆ รอบชายแดน ท่านจะอยู่แถบนี้โดยตลอด แต่ก็จะไม่อยู่เป็นประจำในที่ใดที่หนึ่ง บางทีหายไป ๒-๓ ปีก็จะกลับมาใหม่อีกครั้งโดยที่ไม่รู้ว่าหลวงปู่ไปไหน มาระยะหลังๆ นี้พบหลวงปู่เป็นประจำอยู่ในกระท่อมนาข้างต้นโพธิ์ บ้านขะยอง วัดโคกแก้ว บ้านโคกเจริญ กระท่อมนาระหว่างบ้านละลม กับบ้านจะบก กระท่อมนาบ้านรุน (อำเภอบัวเชด) และบ้านอื่นๆใกล้เคียง